路由任意：通用AI系统模型与策略路由研究
🧭 模型路由 · 多模态质量成本权衡
National University of Singapore, HPC-AI Lab · InfRec, Cardinal AI Lab · University of California, Berkeley · Hong Kong University of Science and Technology
构建覆盖25个基准374k轨迹的omni-modal路由框架，证明学习路由器超最佳固定候选并提升效率8.82倍
📌 工作参考价值（4 点）
- 在推荐/搜索系统中维护多个候选模型（如轻量双塔、深度交叉、LLM排序器），训练一个轻量路由器（小型MLP或XGBoost）基于用户/物品特征、上下文及模型置信度动态选择，论文证明输入信息充分时学习路由器接近oracle上限，同时平均效率提升8.82倍。
- 搭建离线路由评估流程：对历史流量样本离线运行全部候选模型，记录质量分与延迟/成本，形成trajectory matrix，再训练路由器，可安全评估新模型加入后的整体收益，避免直接全量替换风险。
- 将路由用于Agent工具/策略选择：在电商对话助手中，根据用户query意图、语义和上下文路由到不同工具链或生成策略，降低昂贵LLM调用次数同时保持质量。
- 关注路由器输入特征设计：理论表明路由器可获得的信息决定可达性能，实用中可加入模型预测分布熵、历史表现等信号，而不只是原始输入特征。
可预测的性能意味着次优：对模型路由的启示
🧭 模型路由与级联优化
Max Planck Institute for Intelligent Systems, Tübingen · Tübingen AI Center
证明性能预测仅在模型次优或预测器容量大时才优于模型自置信度，级联路由同理
📌 工作参考价值（4 点）
- 模型路由基线选择：将候选模型自身的 self-confidence（输出概率）作为默认路由依据，不要盲目训练额外性能预测器；当模型已通过微调接近任务最优时，复杂预测器增益很小。
- 如果业务中必须使用预测器（如小模型 + 大模型级联），把预测器资源分配给最弱的模型或最难的子任务，因为预测器优势与模型次优性正相关，模型越好增益越少。
- 重校准可复用：训练出的性能预测器若优于模型自置信度，可通过 recalibration 将该优势直接转化为模型 log loss 改进，类似用预测器蒸馏/矫正模型的不确定性估计，提升线上校准和风险控制。
- 级联路由设计：优先提升第一级模型本身（微调、领域适配）而非仅优化路由策略；当第一级模型足够强时，基于 self-confidence 的阈值路由与预测器路由差距缩小，工程更简单且更稳定。
分歧引导的弱到强路由
🧭 弱模型到强模型路由 · 无监督分歧信号
University of Pennsylvania
提出用模型间分歧信号做无监督弱到强路由，无需正确性标签即可在成本与准确率间权衡
📌 工作参考价值（3 点）
- 在电商搜索推荐或 Agent 工作流中，小模型常用于低延迟生成 query 改写、推荐理由或工具调用；当输出不确定时需路由到大模型。可直接借鉴：让弱模型生成多个候选（如采样多个 query/理由），再用强模型对候选打分或比较，弱模型候选分布与强模型偏好分歧大则路由，避免依赖用户反馈或人工标注。
- 多候选 + 分歧路由可作为默认路由信号：比较弱模型自身多个响应与强模型判断的一致性，无需训练正确性预测器，部署简单，特别适合开放域文本生成和 agentic 任务，能显著降低大模型调用成本。
- 实验结论表明，即使有 ground-truth 正确性标签可用于训练路由器，基于分歧的路由也能超越直接拟合正确性的方法。因此在业务中可优先采用无监督分歧信号，或将其作为特征加入有监督路由器，提升泛化能力。
通过模型路由与协作实现集体偏见缓解
🧭 多 LLM 协作路由去偏
Nanyang Technological University · National University of Singapore · Harbin Institute of Technology · King's College London
提出 Collective Bias Mitigation，用多 LLM 路由与协作降低偏见，Committee 在 top-7 将年龄偏见从 0.25 降至 0.10
📌 工作参考价值（4 点）
- 在生成推荐文案、广告语、客服话术等 LLM 输出场景，可先对业务敏感维度（性别、年龄、地域、消费能力）做细粒度偏见评估，按问题类型路由到该维度偏见更低的模型或 LoRA 专家，而不是全局换大模型。
- 借鉴 Committee 拓扑：多个异构 LLM 对同一 prompt 生成候选，再用低成本聚合/仲裁模型投票或改写，能明显降低 biased 输出；线上可按 top-k 控制成本，用较小 committee 在偏见与推理成本间取平衡。
- Debating 拓扑适合高价值、低 QPS 场景（如公关文案、敏感 push 文案），让模型互相挑战后再产出；普通推荐解释或 query 改写可用 Committee 的轻量投票。
- 工程上把偏见分数作为模型路由特征：离线为每个模型×敏感属性×任务类型建立 bias profile，路由时查表选择，避免每次实时前向全部模型。
Canopy：利用分段平滑树先验的多保真度老虎机
🧭 多保真树 bandit 优化 LLM 推理决策
Amazon · Columbia University
提出 CANOPY，在线学习树结构上的分段平滑性失效位置，将昂贵评估集中到不连续区域，提升多保真决策效率
📌 工作参考价值（4 点）
- 在电商/广告的多模型路由或策略选择中，可借鉴 CANOPY 的树结构多保真评估：用廉价内部节点（如小模型打分、压缩特征）快速估计候选池价值，只在检测到局部不平滑（如收益发生跳变）时才触发昂贵全量评估，显著降低 GPU 成本。
- 对生成式推荐 / Agent 的 test-time search，CANOPY 相比 uniform best-of-N 在 SWE-bench 上多解决 1.6 倍问题，说明通过随机路径探针识别搜索树中的高不确定分支，把预算集中在最有希望的子树上，可复用其「在线聚合偏差证书」思想提升 beam search 或候选生成的效率。
- Prompt 修剪与缓存管理中，可将 prompt token 序列建模为树，内部节点快速估计压缩前后的效果差异，仅在检测到质量突变时才进行完整生成评估；对 prefix caching 场景，CANOPY 的树节点价值估计可用于决定哪些前缀值得缓存或继续扩展，提升命中率并降低首 token 延迟。
- 算法层面，CANOPY 的保证「额外成本与不连续点数量可加」提示：在业务多臂老虎机问题中，如果收益函数分段平滑且边界未知，可采用类似随机探针 + 局部偏差检测的机制，避免全局平滑假设导致的搜索低效。
潘多拉 AI 模型路由盒：带成本的价值估计与高效分配
🧭 成本感知的模型路由与拍卖机制 ★ 深度解读
Google DeepMind
将模型路由中昂贵价值估计的取舍建模为 Pandora's Box，以 reservation price 动态决定查询时机，在中心化与去中心化场景均接近最优。
📌 工作参考价值（4 点）
- 在推荐/搜索的多模型链路（精排、重排、LLM reranker）或 RAG 中，用 cheap estimator（如 embedding KNN 或轻量模型）先得到期望收益和不确定性，再以 reservation price 为阈值决定是否调用昂贵路径（完整生成、检索、大模型打分）；不要固定预算或全量调用，能显著降低推理成本。
- 当存在多个模型供应商或内部专家服务，且各自有私有评估能力时，可采用 posted-price 拍卖 + VoI 公式，让专家自行判断是否值得花钱做更准的自评估再报价；平台只需发布当前最佳价，无需了解专家内部信息，降低中心化路由的维护成本。
- 工程实现上 Gaussian signal model 的闭式解很容易落地：用 calibration 集拟合 cheap score 到 expensive score 的回归得到 μ 和 σ²，再用 root-finding 求 reservation price；若候选之间分数相关，可用多元高斯后验 + mean-field 更新阈值，进一步提升查询效率。
- 如果预算极其有限且候选数少（如仅小模型 vs 大模型），Margin 启发式（根据 top-2 cheap score 差距决定是否查昂贵估计）已接近最优，可作为快速落地起点；但在几十上百个候选时，reservation-price 策略能更精细地分配查询预算。
聚类、路由、升级：面向成本感知LLM服务的级联框架
🧭 LLM级联路由与成本优化
ADAPT Centre, Trinity College Dublin · Huawei Research
两阶段级联：先聚类查询并分配最经济的模型，再通过质量估计升级低质量输出，仅用正确性标签实现成本-准确率优化。
📌 工作参考价值（4 点）
- 多规格LLM路由架构：电商搜索/推荐/Agent场景常有多型号LLM（如7B/70B）。可借鉴其两阶段设计：先用聚类将用户查询按意图分组，如“商品咨询”“售后投诉”“闲聊”，为每组预先分配性价比最高的模型，避免大模型过载。
- 成本可控的升级机制：第二阶段质量估计与升级，类似于推荐系统的粗排-精排级联。可为Agent生成的回复或推荐文案设置质量阈值，当小模型输出置信度低时自动升级到大模型重生成，在保证准确率的同时节省平均推理成本。
- 仅需任务正确性标签，适合快速迭代：框架无需额外的人工标注偏好或优劣对比，只需业务已有的正确/错误标签（如用户满意度标签、客服解决状态）即可离线调优λ和升级阈值，降低维护成本。
- 可解释的超参数控制运营权衡：通过λ显式设定推理成本预算，业务运营可灵活调整“省钱-更准”的天平，无需重新训练或手动配置路由规则，模型池变化时自动适配。